Ngày vào Đảng Cộng sản Việt Nam: 25 tháng 5 năm 1981 (chính thức: 25 tháng 5 năm 1982)

Ông có thời gian công tác lâu năm trong ngành ngân hàng, được bổ nhiệm Giám đốc Ngân hàng Nông nghiệp chi nhánh An Giang, Tổng Giám đốc Ngân hàng Nông nghiệp Phát triển Nông thôn Việt Nam (1996 - 1997), Phó Thống đốc Ngân hàng Nhà nước (1997 - 2003), Ủy viên Ban Cán sự Đảng, Chủ tịch BCH Công đoàn Ngân hàng Nhà nước.

Năm 2003 ông được điều động giữ chức Bí thư Tỉnh ủy, Chủ tịch Hội đồng nhân dân tỉnh Ninh Thuận trước khi nhậm chức Thống đốc Ngân hàng Nhà nước Việt Nam.

Ông cũng là Đại biểu Quốc hội của tỉnh An Giang. Từ ngày 03 tháng 08, 2011 ông được Chủ tịch Quốc hội Nguyễn Sinh Hùng phân công làm Chủ nhiệm Ủy ban Kinh tế Quốc hội XIII thay cho ông Hà Văn Hiền.

Ông đã trúng cử đại biểu Quốc hội khóa 14 vào tháng 5 năm 2016 ở đơn vị bầu cử số 3, tỉnh An Giang gồm có các huyện Chợ Mới và Phú Tân, được 349.752 phiếu, đạt tỷ lệ 77,26% số phiếuhợp lệ.

Ngày 22/7/2016 được Quốc hội bầu giữ chức vụ Chủ nhiệm Ủy ban Đối ngoại của Quốc hội khóa XIV với 94,94% tổng số đại biểu tán thành.[5]